Probabilità e Statistica: La Scienza dell'Incertezza: Definire l'Ottimalità nell'Inferenza Statistica

Nel vasto deserto dei dati statistici, siamo cacciatori alla ricerca della verità — il vero parametro $\psi(\theta)$. Ma come decidiamo quale freccia (stimatore) sia la migliore? Ottimalità non è un sentimento vago; è l'arte matematica di minimizzare le perdite. Per trovare lo stimatore 'ottimo', ci rivolgiamo all'Errore Quadratico Medio (MSE), che si decompone elegantemente nella tensione tra due forze fondamentali: Varianza e Errore di distorsione.

Definire lo Standard d'Oro: MSE

Per misurare quanto la nostra stima $T$ si discosti dalla realtà $\psi(\theta)$, definiamo Errore Quadratico Medio (Definizione 6.3.1):

$$MSE_\theta(T) = E_\theta((T - \psi(\theta))^2)$$

Questo è la distanza quadratica media tra lo stimatore e il valore target. Uno stimatore perfetto avrebbe un MSE pari a zero, ma in un mondo caratterizzato da rumore casuale, ci impegniamo a minimizzarlo.

Teorema 8.1.1: L'Architettura dell'Errore

Perché uno stimatore fallisce? Il Teorema 8.1.1 fornisce il progetto. Se $T$ ha un secondo momento finito, l'errore rispetto a una costante qualsiasi $c$ è dato da:

$E((T - c)^2) = \text{Var}(T) + (E(T) - c)^2$

Questa formula rivela che l'errore quadratico totale è minimizzato solo quando scegliamo $c = E(T)$. Nel contesto dell'inferenza, fissiamo $c = \psi(\theta)$, portando alla celebre decomposizione:

MSE = Varianza + Errore di distorsione$^2$

Il Compromesso tra Precisione e Accuratezza

Immagina due bilance in un laboratorio di controllo qualità:

Il Relitto Preciso: Dà sempre lo stesso peso (bassa varianza), ma è fuori taratura di 2 grammi (alto errore di distorsione).
Il Saggio Erratico: È corretto in media (errore di distorsione nullo), ma oscilla violentemente tra le misurazioni (alta varianza).

Il Teorema 8.1.1 ci permette di calcolare esattamente quale bilancia fornisca un errore totale più basso. Spesso siamo disposti ad accettare una piccola deviazione sistematica (errore di distorsione) se riduce drasticamente il rumore (varianza).

Esempio 8.1.1: Sufficienza e Informazione

L'ottimalità è legata a Informazione. Considera uno spazio campionario $S = \{1, 2, 3, 4\}$. Se gli esiti 2, 3 e 4 sono ugualmente probabili per ogni possibile parametro, essi portano la stessa verosimiglianza. Possiamo definire una statistica sufficiente $U$ che raggruppa questi esiti senza perdere alcuna capacità di effettuare un'inferenza ottimale. Come mostrato nella simulazione, se $L(\cdot|2) = L(\cdot|3) = L(\cdot|4)$, uno stimatore ottimale li tratta come un singolo evento informativo.

🎯 Principio Fondamentale

Uno stimatore è ottimale quando minimizza la perdita attesa. Per la perdita quadratica, ciò significa trovare il punto in cui la somma di Varianza ed Errore di distorsione² è al suo minimo assoluto.

DOMANDA 1

Supponiamo che (x₁, ..., xₙ) sia un campione da una distribuzione N(μ, σ₀²), dove μ è ignoto e σ₀² è noto. Determina uno stimatore UMVU del secondo momento μ² + σ₀².

T = x̄² + σ₀²(1 - 1/n)

T = x̄² + σ₀²

T = x̄² - σ₀²/n

T = Σxᵢ² / n

DOMANDA 2

Secondo il Teorema 8.1.1, quale valore di 'c' minimizza l'espressione E((T - c)²)?

c = ψ(θ)

$c = E(T)$

$c = Var(T)$

$c = 0$

DOMANDA 3

Nel contesto dell'Errore Quadratico Medio, come è definito Bias(T)?

E(T) - ψ(θ)

$Var(T) - E(T)$

ψ(θ) / E(T)

E(T²) - [E(T)]²

DOMANDA 4

Nell'Esempio 8.1.1, perché U(s) è una statistica sufficiente quando U(2)=U(3)=U(4)=1?

Perché le verosimiglianze L(θ|2), L(θ|3) e L(θ|4) sono identiche per ogni θ.

Perché le probabilità sommano a 1.

Perché s=1 ha la probabilità più alta.

Perché lo spazio campionario è finito.

DOMANDA 5

Se uno stimatore è non distorto, il suo MSE è uguale a:

La sua Varianza

Il suo errore di distorsione al quadrato

Zero

Il valore reale del parametro